Trong sách Tang thương ngẩu lục của Phạm Đình Hổ và Nguyễn Án có câu chuyện kể như sau: Hoàng Sầm ở Thù Sơn đời đời làm nghề cày ruộng. Cha mất sớm, để lại cho mấy sào ruộng, mẹ con nương nhờ vào nhau sinh sống. 24 tuổi Hoàng Sầm vẫn chưa biết chữ. Năm ấy, cùng quan huyện nhà có quan thượng Nguyễn Công Doãn (thực ra là Nguyễn Doãn Địch)[3] trí sỹ[4] về quê. Quan huyện bắt dân ra đón rước. Hoàng Sầm cũng ở trong số ấy sung vào chân khiêng kiệu tiểu thư (con gái quan thượng). Khi khiêng, ông liếc mắt nhìn trộm thấy tiểu thư xinh đẹp thì trong lòng rung động. Về nhà, ông nói với mẹ muốn lấy người con gái ấy. Mẹ ông cho rằng chuyện hão, nhưng ông không nghe mà đi mua sắm đồ sính lễ bắt mẹ phải đi dạm hỏi. Quan thượng lấy làm lạ, hỏi thì mẹ kêu xin tha tội và kể đầu đuôi câu chuyện. Quan thượng nghe rồi cười bảo:

- Không hề gì.

Quan thượng sai người đến gặp chàng trai:

Con gái nhà quan không lẽ gả cho người dân thường. Sau này anh làm nên sự nghiệp mới lấy con gái ta được.

Hoàng Sầm lạy hai lạy rồi nói:

- Xin vâng theo lệnh, nhưng mong quan lớn đừng sai lời.

Về nhà, ông bán đi một sào ruộng được 30 quan tiền, rồi tìm thầy xin học. Học được ba năm đã giỏi lắm, đi khảo khóa trúng ở huyện Hòa Hòa, đi thi Hương đỗ Giải nguyên (đỗ đầu).

Đỗ đầu thi Hương rồi, ông nhờ người làng đến nói với quan thượng xin đừng sai lời hẹn cũ, rồi lên kinh đô thi Hội. Bấy giờ con gái quan thượng có mấy đám hỏi nhưng chưa thành đám nào nên vẫn còn ở nhà.

Quả nhiên, năm Mậu Tuất, niên hiệu Đại Chính, nhà Mạc, ông thi đậu Thám hoa. Hôm vinh quy và cũng là ngày làm lễ cưới ngay sân nhà quan thượng. Người làng đều cho là sự vẻ vang vốn có.